spark 초심

2025/02/19

spark의 pandas-udf 를 쪼물쪼물하고 있다.

다시 초심으로 돌아가면...

1. oozie를 발사기로 쓰는 것은 시름. 취존.
2. 에어플로우 - 프락시 (때로 MQ) - 쉘 발사 - 로깅 백리턴이 적절함
3. yarn logs 잊지 말자
4. deploy-mode=client 로 로그를 먼저 보자. cluster는 안 보인다.
5. dag view는 딸깍딸깍 잘 도네 정도다.

[t:/] is not "technology - root". dawnsea, rss